我们推出了 FrontierMath,这是由专业数学家精心设计和审查的数百个原创、极具挑战性的数学问题的基准。这些问题涵盖了现代数学的大多数主要分支——从数论和实分析中的计算密集型问题到代数几何和范畴论中的抽象问题。解决一个典型问题需要相关数学分支的研究人员花费数小时的努力,而对于高端问题,则需要数天的时间。FrontierMath 使用新的、未发表的问题和自动验证来可靠地评估模型,同时最大限度地降低数据污染的风险。目前最先进的人工智能模型解决了不到 2% 的问题,揭示了人工智能能力与数学界的实力之间的巨大差距。随着人工智能系统向专家级数学能力迈进,FrontierMath 提供了一个严格的测试平台来量化它们的进展。